#LLM distillation

4 篇

DecisionRank: On-Policy Distillation for Decision-Model Rerankers

DecisionRank：面向决策模型重排器的在线策略蒸馏

🧭 决策重排模型蒸馏 · 单 token 排序 ★ 深度解读

Meta · Purdue University

用 item-space on-policy distillation 把生成式 LLM 排序偏好蒸馏到单 token 决策重排器，8B 超 27B 教师且快 24.5 倍

📌 工作参考价值（4 点）

如果线上重排为了低延迟采用单 token doc-id score，可以不必再靠离线静态 RankNet 蒸馏；把学生当前排序的 top-K 作为 teacher-forced 前缀，在 item space 用 reverse KL 对齐 teacher 的条件 next-item 分布，训练与推理完全一致，且 teacher 无需和学生共享词表或架构，适合接闭源/跨家族 LLM 教师。
工程实现：每步用学生 first-token logits 排序取 top-20，一次性 teacher-forced forward pass 拿到 step 2–19 的条件分布，再对剩余候选做 Plackett-Luce 归一化和 reverse KL；不需要自回归 rollout，稳定且省算力。联合离线 RankNet，λ=0.1，16k 查询即可在多种 teacher/student 尺寸上稳定增益。
对推荐/广告重排的负向结论也有用：AR SFT/AR OPD/Listwise GRPO 在单 token 打分器上不稳定，尤其会伤 general retrieval；因此如果目标是 first-token 推理，不要套用生成式策略优化，应直接用 item-space conditional feedback。
附带收益：该方法蒸馏出的 first-token scorer 在 TREC DL/BRIGHT 上 ECE 低于生成式教师，且无需标定专用目标；这对需要阈值截断/出价置信度校准的广告或推荐场景是可直接复用的性质。

RecSys | 2026-10-30 | cs.CL | score 8/10

TraceForge：按学生模型家族风格生成推理轨迹的蒸馏方法

🧭 LLM 蒸馏 · 推理轨迹合成

Independent Researcher

提出 TraceForge，在仅有教师答案时合成学生家族原生推理轨迹用于蒸馏，代码任务提升显著

📌 工作参考价值（4 点）

黑盒教师 API 只给答案时，不要放弃 CoT 蒸馏：可训练一个本地生成器，用 (context, answer) 自动补写学生模型家族风格的推理轨迹，再用于 SFT 小模型；尤其适合电商 Agent 的工具调用轨迹、商品推荐理由、query 改写推理等场景。
训练生成器时先用自有模型家族真实 CoT 做 SFT，再引入 critic/reward model 做对抗训练或 best-of-N 筛选；工程上相当于给合成轨迹增加真实性过滤，能显著提升下游效果，成本可控。
保持 teacher answer 不变、只优化中间 reasoning trace 的思路值得复用：业务中可固定黑盒模型输出的最终标注/答案，把优化重点放在解释路径、中间步骤或工具调用序列，减少跨模型风格错配带来的性能损失。
评估时把 authenticity 与 correctness 分开：需要独立 judge 打分真实性，并同时看最终任务指标；避免只追求 CoT 看起来真实但实际无益。

Training | 2026-10-20 | HF Daily | score 7/10

耦合校准与学习：在没有目标域奖励反馈的情况下缓解LLM蒸馏中的教师偏差

🧭 LLM蒸馏中的教师偏差校准

MIT · UIUC

提出CCL算法，通过源域反馈校准教师再训练学生，消除教师偏差且收敛到最优学生

📌 工作参考价值（4 点）

Training | 2026-09-15 | cs.LG | score 7/10

推荐系统陈旧内容分解：超替与衰减双过滤器

🧭 候选集陈旧度过滤 · LLM 蒸馏 + 流量预测 ★ 深度解读

Google LLC

用 LLM 蒸馏的 pairwise 超替检测与多模态流量比例预测在排序前过滤陈旧内容，Google Discover 用户投诉降 54.9%

📌 工作参考价值（4 点）

把候选集陈旧度拆成「超替」和「衰减」两类，分别用 pairwise 关系模型和内容流量预测做上游 OR 过滤，可复用到电商的促销/价格/库存更新、广告素材生命周期管理；在排序前剪枝还能直接省 CPU/TPU。
用 LLM 合成 pair 训练数据时，先聚类去冗余、再在中等相似度区间加权采样，能显著提高正样本比例；同时监督 rationale 比只监督 class 更好，并可加入 NLI 等 pair 关系辅助任务。
PTR 类流量预测建议用 search-click / 主动意图信号，不用 page-view，避免 Publisher 推广 bias；多模态 early fusion + 多 horizon 多任务输出，比 late fusion 更省也更强，决策时取已过最大 horizon 的单调阈值即可。
在线评估体验类指标可借鉴 prevalence-delta A/B：按实验组 vs 对照组的 view delta 采样 item 做人评，解决用户投诉稀疏的统计功效问题；item-level 无个性化信号离线缓存、serving 时查表，不增加在线推理成本。

RecSys | 2026-08-16 | cs.IR | score 9/10